19. 基于时间的反向传播算法练习 1

_循环神经网络折叠模型_

循环神经网络折叠模型

思考上面循环神经网络折叠模型。状态 S Z 在每层都有多个神经元。
状态 Z 在时间 t 的数学推导为:

SOLUTION: 方程式 D

解决方法

\bar{z} \bar{s} 是向量,因为我们指出它们每层都有多个神经元。根据这个逻辑我们可以理解方程A和C是错误的。由于 w_2 连接了隐藏状态 \bar{z} 和自身状态,所以我们知道需要考虑这里之前的时间步长。因此,只有方程D是正确的。